Das Meisterwerk der Ahnengalerie zeigt den Großvater des Fürsten Pückler. Modisch elegant mit Seidenweste und Rock gekleidet, ließ er sich in Genf porträtieren. Die Schweiz war die letzte Station auf seiner langen Bildungsreise, die ihn auch durch Süddeutschland, Frankreich und Italien geführt hatte. Auf dieser Reise lernte er seine spätere Frau Marie Henriette Olympia del la Tour du Pin kennen.
Als 1776 sein Vater Johann Alexander von Callenberg starb, musste Hermann die Standesherrschaft Muskau übernehmen. Seine Interessen lagen jedoch auf wissenschaftlichem und künstlerischem Gebiet. 1780 – 1795 erwarb er sich als erster Präsident der Oberlausitzischen Gesellschaft der Wissenschaften große Verdienste um die Förderung von Bildung und Wissenschaft.
Mit der Vermählung seiner Tochter Clementine mit Ludwig Karl Johann Erdmann Reichsgraf von Pückler (Sohn des Grafen August Heinrich von Pückler) dankte Callenberg 1785 als regierender Standesherr ab. Damit endete die 140 Jahre dauernde Ära Callenberg auf Muskau und es begann die Herrschaft der Pücklers.